
<center>
<h1>神经网络是不是越深越好？<br>the deeper， the better？</h1>

<body>
<h2>深度神经网络带来的问题</h3>
<h3>1、梯度消失，梯度爆炸问题</h3><br></center>
從深層網路角度來講，不同的層學習的速度差異很大，表現為網路中靠近輸出的層學習的情況很好，靠近輸入的層學習的很慢，
有時甚至訓練了很久，前幾層的權值和剛開始隨機初始化的值差不多。因此，梯度消失、爆炸，其根本原因在於反向傳播訓練法則，屬
於先天不足，另外多說一句，Hinton提出capsule的原因就是為了徹底拋棄反向傳播，如果真能大範圍普及，那真是一個革命。
<center>
<img src='https://storage.googleapis.com/stateless-codertw-com/2018/07/20180729005823-5b5d112fa5247.png' height='400' width='600'><br>
<h3>2、过拟合问题</h3><br>
<img src='https://upload.wikimedia.org/wikipedia/commons/thumb/1/19/Overfitting.svg/300px-Overfitting.svg.png' height='400' width='500'><br>
<h3>3、退化问题</h3><br>
<img src='https://images2018.cnblogs.com/blog/1351564/201808/1351564-20180830145321253-738009854.png' height='400' width='600'><br>
</body>



<h3>引用</h3>
<a href='https://codertw.com/%E7%A8%8B%E5%BC%8F%E8%AA%9E%E8%A8%80/583004/'>程式前沿</a>|
<a href='https://zhuanlan.zhihu.com/p/44304391'>知乎用户--老宋的茶书会</a>
</center>